#context caching

1天前

今天组内小伙伴在内部agent平台的自定义prompt里增加了一个{{CURRENT_DATE}}的模板变量的功能，被我驳回了，发现其实挺多agent工程师并不知道context caching这个机制，举个例子，如果在一个sytem prompt里加了{{当前时间}}的动态变量，你会发现几次对话的cache hit会变成这样，极大增加成本

#Agent平台 #prompt模板变量 #context caching #成本增加 #技术认知